import json

# 定义一个函数来处理文件
def process_json(input_path, output_path):
    # 读取a.json文件
    with open(input_path, 'r', encoding='utf-8') as file:
        data = json.load(file)
    
    # 假设data是一个字典列表，遍历列表中的每个字典
    if isinstance(data, list):
        for item in data:
            # 删除每个字典中的'text'字段
            if 'text' in item:
                del item['text']
    
    # 将更新后的数据写入b.json文件
    with open(output_path, 'w', encoding='utf-8') as file:
        json.dump(data, file, ensure_ascii=False, indent=4)

# 使用函数处理文件
process_json('/app/unsloth/traning_datasets/code_instructions_120k.json', '/app/unsloth/traning_datasets/code_instructions.json')